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Résumé : 

Ce papier présente un filtre temporel crédibiliste utilisé 
pour la reconnaissance d'actions humaines dans des 
vidéos. Ce filtre permet de s'affranchir au moins en par- 
tie des problèmes dus à la disparité dans la réalisation 
des actions, à la variabilité des conditions d'acquisition 
des vidéos et à la difficulté d'appliquer les algorithmes 
de traitements d'images sur des vidéos réelles. L'ensem- 
ble du système de reconnaissance est construit à partir 
du formalisme du Modèle des Croyances Transférables 
(Transférable Belief Model : TBM) proposé par R Smets. 
Le TBM permet d'exprimer explicitement le doute en- 
tre les actions. De plus, l'information de conflit mise en 
lumière par le TBM est exploitée pour détecter le change- 
ment d'état des actions. Les performances du filtre sont 
estimées sur des vidéos d'athlétisme réelles acquises en 
caméra mobile avec des angles de vue variables. 

Mots-clés : 

Filtrage de fonctions de croyance, Modèle des Croy- 
ances Transférables, Indexation de vidéos. 

Abstract: 

In the context of human action récognition in video sé- 
quences, a temporal belief filter is presented. It allows to 
cope with human action disparity and low quality videos. 
The whole System of action récognition is based on the 
Transférable Belief Model (TBM) proposed by R Smets. 
The TBM allows to explicitly model the doubt between 
actions. Furthermore, the TBM emphasizes the conflict 
which is exploited for action récognition. The filtering 
performance is assessed on real video séquences acquired 
by a moving caméra and under several unknown view an- 
gles. 

Keywords: 

Belief functions filtering, Transférable Belief Model, 
video indexing. 



1 Introduction 

1.1 Contexte 

L'analyse du comportement humain dans les 
vidéos est un domaine de recherche en plein es- 
sor dans la communauté de la vision par ordi- 



nateur [1J. En effet, elle est au coeur de nom- 
breuses applications telles que la surveillance 
de personnes, les interfaces homme-machine, 
l'indexation et la recherche dans de grandes 
bases de vidéos. Le lien entre le monde réel, de 
nature analogique, et la pensée humaine, plutôt 
symbolique, est une des difficultés majeures. 

De nombreuses méthodes sont proposées pour 
la reconnaissance d'actions humaines dans les 
vidéos L 1 J - Elles peuvent être classées en deux 
catégories : les templates matching et les ma- 
chines à états. Le premier type de méthodes 
ne parvient généralement pas à faire face aux 
conditions variables d'acquisition des vidéos 
telles que le changement d'angle de vue et 
la disparité dans la réalisation des actions. 
La deuxième catégorie concerne majoritaire- 
ment des méthodes probabilistes notam- 
ment les Modèles de Markov Cachés (HMM) et 
les Réseaux Bayésiens Dynamiques (DBN) . 
La théorie des probabilités est particulièrement 
intéressante lorsque des jeux de données d'ap- 
prentissage conséquents [4| sont disponibles et 
lors de la prise de décision. 

L'analyse du mouvement humain basée sur les 
fonctions de croyance est une approche récente. 
Un classifieur basé sur le modèle de Shafer 
a été utilisé pour reconnaître des postures 
statiques [6] et des expressions faciales 0. 
Nous avons proposé [8| une architecture origi- 
nale pour la reconnaissance d'actions humaines 
basée sur le Modèle de Croyances Transférables 



(Transférable Belief Model : TBM) 0. Ce for- 
malisme est particulièrement bien adapté car 
(i) le doute sur les états est modélisé explicite- 
ment, (ii) le conflit entre les sources d'in- 
formation peut être utilisé pour détecter un 
changement d'état et pour remettre en ques- 
tion les sources fusionnées et (iii) la fiabilité 
des paramètres dépendant du contexte peut être 
prise en compte. 

Les méthodes proposées jusqu'ici pour l'- 
analyse du mouvement humain basée sur 
les fonctions de croyance n'intégrent pas 
l'information temporelle. Pour remédier à 
cela, deux solutions principales existent : les 
réseaux évidentiels [ 1 1 et les réseaux de 
Pétri crédibilistes ifïTI . Cependant, ces deux 
méthodes sont sensibles au bruit pouvant ap- 
paraître sur les croyances et se traduisant 
généralement par la présence de fausses 
alarmes. De plus, les fonctions de croyance 
utilisées sont généralement normalisées pour 
supprimer le conflit. 

Dans cet article, nous proposons une méthode 
de filtrage des fonctions de croyance qui est ca- 
pable d'éliminer les fausses alarmes et qui ex- 
ploite l'information de conflit. 

1.2 Reconnaissance des actions 

Indexer une vidéo à un niveau compatible 
avec la compréhension humaine nécessite de 
définir des concepts c'est à dire des informa- 
tions dites de haut niveau symbolique. Nous 
nous intéressons ici au comportement d'un 
athlète au cours de meetings d'athlétisme et 
nous cherchons à détecter et reconnaître ses ac- 
tions comme la course, le saut et la chute. Ces 
actions sont supposées indépendantes, non ex- 
haustives et non exclusives. 

Une action peut prendre deux états distincts : 
soit elle est vraie soit elle fausse. Pour 
déterminer l'état d'une action, des paramètres 
sont extraits du flux vidéo par des méthodes de 
traitements classiques comme l'estimation du 
mouvement de caméra et le suivi de points. Les 



paramètres sont choisis pour leur pertinence 
par rapport aux actions à reconnaître. Dans 
le cadre de l'application avec caméra mobile, 
notre choix s'est basé sur deux hypothèses prin- 
cipales : (i) le cameraman suit l'athlète et (ii) la 
trajectoire de points particuliers de la silhouette 
suffit à décrire le comportement de l'athlète. 
Les paramètres qui ont été choisis sont : les 
mouvements de caméra entre deux images suc- 
cessives (horizontal, vertical, zoom) et la tra- 
jectoire de la tête, d'un des deux pieds et du 
centre de la silhouette. Ces derniers paramètres 
permettent d'extraire l'alternance des pieds, la 
courbure de la silhouette et son angle par rap- 
port à l'horizon. Tous les paramètres sont en- 
suite traduits en croyance puis fusionnés dans 
le cadre du TBM. Finalement, à chaque image, 
une croyance sur la réalisation de chaque action 
est calculée. 

Du fait de la diversité dans la réalisation des ac- 
tions, des conditions d'acquisition des vidéos et 
de la complexité des algorithmes de traitement, 
les résultats de la fusion sont bruités. Il est bien 
sûr possible de filtrer les signaux numériques, 
mais cela pourrait éliminer des informations 
utiles aux actions notamment lorsque celles ci 
ne durent que quelques images. Nous avons 
donc développé un filtre temporel crédibiliste 
capable de filtrer le bruit sur les croyances mais 
aussi de détecter les changements d'états pour 
chacune des actions. Le système complet est 
présenté figure [ï] 

Dans le paragraphe |2j nous décrivons comment 
l'information concernant une action particulière 
est modélisée puis fusionnée dans le cadre du 
TBM. Le paragraphe |3] est consacré à la de- 
scription du filtre temporel crédibiliste que nous 
avons développé. Enfin, le filtre est évalué dans 
le paragraphe |4j 

2 Processus de fusion 

2.1 Définition des fonctions de croyance 

Soit VLa = {Ra, Fa} l'espace de discerne- 
ment (FoD) d'une action A. Le FoD regroupe 
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Figure 1 - Architecture du système de recon- 
naissance d'actions. 

les états élémentaires d'une action (vrai ou 
faux). Une distribution de masse rn^ A concer- 
nant une action A, est une fonction de croyance 
dépendant du paramètre P définie sur l'ensem- 
ble des propositions 2 Qa = {0, R A , F A , R A U 
F A } (où R A U F A correspond au doute entre 
les états R A et F A ). La distribution de masse 
est une application qui à tout X G 2 Qa associe 
rrip A (X) G [0, 1]. Par construction mp A (0) = 
0, et J2xcn A m P A (X) = 1. La valeur de 
mp A (l) correspond à la masse qui indique la 
confiance sur la proposition X Ç Çl A à partir de 
la connaissance du paramètre P. Cette valeur 
ne donne aucune information supplémentaire 
concernant les sous ensembles de X. C'est la 
différence fondamentale avec une mesure de 
probabilité. 

Nous nous sommes inspirés des sous ensem- 
bles flous [8| pour obtenir les distributions de 
masse de chaque paramètre numérique. Cette 
conversion numérique- symbolique est réalisée 
à chaque image de la vidéo analysée. 

2.2 Fusion des fonctions de croyance 

Les distributions de masses obtenues à partir 
des différents paramètres sont fusionnées dans 
le cadre du TBM 0. Une fonction de croy- 
ance est alors obtenue pour chacune des actions 



possibles prenant en compte toute l'information 
disponible. La fusion est réalisée image par im- 
age et pour chaque action. 

La combinaison de deux distributions de masse 
et mp 1 définies sur le même FoD Q A , con- 
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cernant une même action A et calculées à partir 
de la valeur numérique de deux paramètres P\ 
et P 2 , donne : 
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avec A = fl (resp. U) pour la combinaison con- 
jonctive (resp. disjonctive). Une action est alors 
décrite par des règles logiques entre les états des 
paramètres (exemple : "si l'alternance des pieds 
est importante ET si la translation horizontale 
de la caméra est importante alors l'action est 
une course") puis retranscrites dans le cadre du 
TBM où le ET logique est remplacé par (n) et le 
OU logique par (y) en prenant soin d'avoir ex- 
primé les fonctions de masse sur le même FoD. 

2.3 Fiabilité des sources 

Il est possible de prendre en compte la fiabilité 
des paramètres lors de la combinaison. Cela 
permet de modérer l'influence d'une source 
d'information pour laquelle les conditions de 
fonctionnement ne seraient pas optimales. Le 
paramètre de fiabilité ap G [0, l] concernant le 
paramètre P agit sur la distribution de masse 
m p p de la façon suivante : 
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(A) 



a P x nip P ;\/A C Çl P 
(l — ap) + ap x mp p 



(2) 

L'estimation de «p peut être réalisée à partir 
de connaissances statistiques ifTÎI . Nous pro- 
posons ici de calculer en ligne le facteur de fi- 
abilité lié à la qualité de la vidéo et des traite- 
ments associés à chaque image. Deux facteurs 
de fiabilité ont été définis. Tout d'abord a sup qui 
est basé sur l'appartenance effective du pixel au 
mouvement dominant et qui permet de quan- 
tifier la qualité de l'estimation de mouvement. 
Ensuite, adist qui est calculé à partir du rap- 
port normalisé entre les distances pieds - cen- 



tre de gravité et tête - centre de gravité dont la 
valeur optimale est 1 . Ce deuxième facteur per- 
met d'évaluer la qualité de l'algorithme de suivi 
de points de la silhouette. 

3 Filtre temporel crédibiliste 

Les fonctions de croyance obtenues par fu- 
sion des paramètres sont traitées par un fil- 
tre temporel crédibiliste qui permet de lisser 
l'évolution des croyances et de détecter les 
changements d'états. Ce filtre est appliqué 
sur les croyances de chacune des actions 
indépendamment . 

En sortie du filtre, une distribution de masse est 
obtenue. Elle est cohérente avec : 

- les paramètres : le filtre permet de résoudre 
le conflit entre les sources associées à chacun 
des paramètres, 

- les variations dans le temps : la croyance sur 
les actions ne peut varier brutalement d'une 
image à l'autre compte tenu de la différence 
entre la cadence vidéo et les mouvements 
humains, 

- la condition d'exclusivité : le filtre permet 
de s'assurer de la consonance des distribu- 
tions de masse c'est à dire que si l'une des 
hypothèses, e.g. Ra, a une masse non nulle 
alors l'autre hypothèse, e.g. Fa, a une masse 
nulle. 
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Figure 2 - Principe du filtre temporel 
crédibiliste où rh^ A est la prédiction, m^ A est 
la valeur de sortie du filtre à l'image / donnant 
l'état de l'action et fn^ A est la mesure en sortie 
de la fusion de paramètres à l'image /. 



comme des modèles d'évolution des masses sur 
les actions. Nous notons les modèles Ai G 
{1Z, J 7 } avec 1Z pour le modèle vrai et T pour 
le modèle faux. Chacun de ces modèles con- 
cerne l'une des hypothèses du FoD d'une ac- 
tion A, i.e. Ra ou Fa- A chaque image / (/ 
pour frame), le filtre fonctionne en trois étapes : 
(i) prédiction, (ii) fusion et (iii) détection de 
changement d'état. 

3.1 Prédiction 

L'étape de prédiction s'appuie sur l'hypothèse 
suivante : si l'état de l'action est Ra (resp. Fa) 
à l'image (/ — 1) alors, à l'image / son état 
sera au moins partiellement Ra (resp. Fa). Ce 
modèle d'évolution 1Z (resp. T) est pondéré par 
un coefficient de confiance jn. G [0,1] (resp. 
ir G [0, 1]) : 



La dernière propriété permet de définir un "état" 
de l'action, i.e. soit vrai soit faux. Ces états sont 
évalués pour chaque action indépendamment en 
fonction des distributions de masse définies à 
partir de chaque paramètre. 

Le principe du filtre temporel crédibiliste est 
décrit figure El Le filtre temporel est basé sur 
les règles d'implication. La formalisation de 
ces règles dans le cadre du TBM ainsi qu'un 
exemple concernant l'identification de cibles 
aériennes sont fournis dans lfT3ll . Nous utilisons 
deux règles d'implication que nous interprétons 



Modèle K : 

Si R A a(f- 1) 

alors Ra à / avec la croyance 7^ 
Modèle T : { } 

Si F A à (/ - 1) 

alors Fa à / avec la croyance jp 

Par la suite, la notation vectorielle de la distri- 
bution de masse définie sur le f2 a est utilisée 
comme suit : 

[ m «A(0) m ^A(^ A ) m ^( j p A ) rr^A^Y 



Le modèle d'évolution peut être interprété 
comme une distribution de masse. Par exemple, 
pour le modèle 1Z : 

iT 



m 



n A 



, n - [ ln (1-tti) ]' (4) 

La règle de combinaison disjonctive (eq. [B est 
alors utilisée pour calculer la prédiction à partir 
de la distribution de masse à l'image (/ — 1) et 
du modèle d'évolution : 
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m^(û)m^ 1 



"f,M ~ ""M v=v"<7-i (5) 

La règle (y) n'attribue jamais plus de masse à 
une hypothèse singleton que celle qu'elle avait 
avant fusion. Par conséquence, la distribution de 
masse prédite à l'image / à l'aide du modèle 1Z 
(eq.|4j) est donc : 
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m x m v lt x {R A ) 





(6) 

Quand ^ M = 1, la prédiction à / est égale 
à la distribution de masse à (/ — 1). Quand 
1M — 0, le modèle ne donne aucune indica- 
tion sur l'évolution de la masse entre une image 
et la suivante. 

3.2 Fusion 

Prédiction et mesure fn^ A sont deux 

sources d'information concernant l'état de l'ac- 
tion A. La combinaison conjonctive des distri- 
butions de masse associées (eq. [TJ donne une 
nouvelle distribution de masse dont la masse 
sur l'ensemble vide quantifie le conflit entre 
modèle et données et donc reflète le besoin de 
changer de modèle : 



(7) 



Cependant, e/ ne peut pas être utilisé directe- 
ment car il peut provenir des erreurs de mesures 
sur les paramètres. Nous avons donc utilisé 
la somme cumulée (CUSUM) pour résoudre ce 
problème et éviter les changements d'état in- 
tempestifs. La CUSUM est bien adaptée pour 
traiter les changements rapides et importants ou 
changements longs et graduels. 



3.3 Détection du changement d'état 

Lorsque la valeur de la CUSUM atteint un 
seuil d'alerte T w (warning threshold), le numéro 
de l'image f w est mémorisé mais le modèle 
d'évolution courant reste valide. Quand la 
CUSUM s'accroît et atteint un seuil d'arrêt % 
(stop threshold) à l'image f s , alors le modèle 
d'évolution est changé, puis le nouveau modèle 
est appliqué à partir de f s . Lorsque du con- 
flit apparaît, les mesures ne sont pas prises en 
compte, seule la valeur prédite est utilisée. Cela 
revient à faire confiance au modèle d'évolution. 
Ceci permet de ne pas maintenir une masse sur 
le conflit qui est un élément absorbant par la 
combinaison conjonctive (n) : 
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(8) 



L'équation ® tient compte du fait que la dis- 
tribution de masse ral^_ x possède au plus deux 
éléments focaux (eq. |6j) en fonction du modèle 
d'évolution courant M.. Au final, la distribu- 
tion de masse est consonante, sans conflit et 
seulement l'une des deux hypothèses Ra ou 
Fa a une masse non nulle. De plus, le fait 
d'utiliser la règle disjonctive (y) pour prédire 
l'état permet, en cas de conflit avec les mesures, 
d'aboutir à l'infini à une distribution de masse 



1 qui reflète l'ignorance totale 



ce qui est tout à fait cohérent. 

Tel qu'il a été décrit, le traitement de la 
CUSUM pose un problème pour les conflits très 
faibles mais de longue durée. Pour y remédier, 
nous proposons d'utiliser un mécanisme d'oubli 
qui permet d'atténuer l'effet du conflit qui 
serait intervenu depuis trop longtemps : CUSUM 
courante CS(/) : 

CS(/)^CS(/-l)xA + e/ (9) 

Le coefficient d'oubli À a été choisi constant et 
est appliqué à chaque image. 



Seul l'un des deux modèles (71 et JF) est 
appliqué à chaque image. Lorsqu'un change- 



ment de modèle intervient pour l'action A, 
c'est à dire que le seuil d'arrêt T s est at- 
teint par la CUSUM, l'intervalle des images 
IT = [f w ,min(f s ,f w + W)] est interprété 
comme un intervalle de transition entre les deux 
états de l'action A. Le paramètre W limite la 
taille de la transition. Une distribution de masse 
modélisant l'ignorance est affectée en sortie du 
filtre sur tout l'intervalle IT : m^(Q A ) = 1. 
Puis, à partir de la borne supérieure de IT, la 
CUSUM est remise à zéro et le nouveau modèle, 
en concordance avec les mesures, est appliqué. 

3.4 Quelques indications sur l'initialisation 
et le réglage des paramètres 

Initialisation. Le filtre temporel crédibiliste est 
un mécanisme qui fonctionne en ligne. Lors 
de l'initialisation, le modèle qui correspond le 
mieux aux premières mesures est sélectionné. 
Pour cela, le calcul de la CUSUM est réalisé 
sur les premières images pour les deux modèles 
puis celui présentant la plus petite CUSUM est 
choisi. 



4 Expérimentations 

Description de la base de test. Nous avons utilisé 
ce système pour reconnaître les actions d'un 
athlète dans différents meetings d'athlétisme. 
Les vidéos utilisées concernent des sauts en 
hauteur et des sauts à la perche. Les actions 
recherchées sont la course, le saut et la chute. 
La base de données est composée de 34 vidéos 
filmées par une caméra mobile. Il y a 22 sauts 
à la perche et 12 sauts en hauteurs soit env- 
iron 5500 images. Cette base est caractérisée 
par son hétérogénéité (fig. |3) : angles de vue 
divers, environnements extérieurs ou intérieurs, 
présence d'autres personnes ou d'objets mo- 
biles dans la scène, athlètes hommes ou femmes 
de différentes nationalités. 




Figure 3 - Exemples illustrant l'hétérogénéité 
de la base de vidéos. 



Réglages des paramètres. Il est nécessaire de 
configurer les paramètres dans le bon ordre : le 
paramètre d'oubli A ainsi que les deux coeffi- 
cients associés aux modèles 77^ G [0, 1] (resp. 
7jt) doivent être traités ensemble et en premier 
lieu. Puis le seuil d'arrêt T s de la CUSUM ainsi 
que le seuil d'alerte T w sont réglés. Enfin le 
paramètre W est fixé. 

Pour un paramètre d'oubli donné, la valeur de 
T s peut être estimée si une vérité terrain concer- 
nant la validité des actions est disponible c'est 
à dire si l'image de départ f sre f (start frame) et 
l'image d'arrêt / ere / (end frame) sont connues. 
Dans ce cas, le filtre est appliqué avec le modèle 
T (état faux) avec un seuil d'arrêt % inat- 
teignable. Alors, le seuil vaut T s = CS(/ sre /). 
S'il y a beaucoup de bruit sur les données, alors 
il se peut que la valeur estimée ne soit pas op- 
timale. Dans ce cas, le paramètre d'oubli À doit 
être augmenté et la procédure réitérée. 



Réglages. Pour montrer les performances et la 
robustesse du filtre temporel crédibiliste, un 
seul réglage a été réalisé pour toutes les ac- 
tions et toutes les vidéos en utilisant les recom- 
mandations décrites au paragraphe |3j Pour in- 
formation, les valeurs choisies sont : À = 0.9, 
In = 1t = 0.9, T s = 3, T w = 0.5 et W = 5. 

Critère de décision. Afin d'évaluer les capacités 
du système proposé, il est nécessaire de pren- 
dre une décision à partir des croyances sur l'état 
des actions. Pour cela, nous utilisons la transfor- 
mation pignistique proposée par Smets, qui vaut 
dans notre cas : 



BetP( J R A ) 



rtf A (R A ) + 0.5 x mf A (R A U F A ) 



1 s 

1 — m. 



(10) 

avec rnj A la sortie du système avec et sans fil- 
tre. Si 3etP(R A ) > alors A est considérée 
comme étant vraie. 



Critère d'évaluation. La base a été annotée 
manuellement ce qui nous sert de référence. 
Les indices de rappel (JZ) et précision (V) sont 
calculés de la façon suivante : 1Z = et 
V = où C est l'ensemble des images cor- 
rectes, i.e. les références données par l'annota- 
tion de l'expert, R est l'ensemble des images 
retrouvées à l'aide du critère sur la probabilité 
pignistique BetP, et C H R est le nombre d'im- 
ages correctes retrouvées. 

Illustration. Le tableau [T] présente les résultats 
de reconnaissance des actions pour toutes les 
séquences avant et après filtrage par le filtre 
temporel crédibiliste. Un gain important peut 
être observé pour toutes les actions grâce au 
filtrage. La figure |4] illustre un résultat du fil- 
tre sur une distribution de masse concernant 
une action saut dans un saut en hauteur. La 
croyance sur les différentes propositions est 
représentée : (paramètres discordants pour A), 
Ra (A est vraie), Fa (A est fausse) et Ra U Fa 
(doute sur l'état de A). L'accumulation du con- 
flit (CUSUM) est aussi illustrée soulignant l'- 
effet du coefficient d'oubli pendant les fausses 
alarmes. 

Tableau 1 - Rappel {1Z) et précision (V) en % 
avant et après filtrage pour les actions course, 
saut et chute dans des sauts à la perche et des 
sauts en hauteur. La colonne de droite donne le 
gain apporté par le filtre. 



Perche 


avant 


après 


gain 


course 
saut 
chute 


83.8 71.0 
40.2 94.7 
51.5 87.0 


91.7 67.9 

78.4 95.3 

67.5 83.8 


(+)7.90 (-)3.1 
(+)38.2 (+)0.6 
(+)16.0 (-)3.2 


moyenne 


63.4 77.3 


82.3 77.0 


(+) 18.9 (-) 0.3 


Hauteur 


avant 


après 


gain 


course 
saut 
chute 


89.5 86.1 
80.1 79.7 
95.5 91.0 


99.8 84.1 
84.2 79.0 
97.8 90.1 


(+)10.3 (-)2.0 
(+)4.10 (-)0.7 
(+)2.30 (-)0.9 


moyenne 


88.2 85.6 


95.8 84.0 


(+)7.60 (-)l.fl 



5 Conclusion 

Cet article propose un filtre temporel 
crédibiliste appliqué à la reconnaissance 
d'actions humaines dans les vidéos. Ce filtre, 
basé sur le Modèle de Croyances Transférables, 



permet de lisser les croyances et de détecter 
les changements d'états de l'action considérée. 
La technique consiste à utiliser le conflit entre 
un modèle d'évolution des croyances et des 
mesures. Les mesures ont été obtenues par 
fusion de croyances issues de paramètres 
extrais des vidéos. L'utilisation d'une somme 
cumulée (CUCUM) du conflit permet d'éviter 
les changements d'états intempestifs. 

Dans cette article, les actions ont été con- 
sidérées indépendantes. Nous cherchons à 
présent à intégrer des relations de causalité en- 
tre les actions telles que rencontrées dans les 
réseaux évidentiels [10| et dans les réseaux 
de Pétri crédibilistes |11|. L'objectif est la re- 
connaissance de séquences d'actions, aussi ap- 
pelées activités. 
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Figure 4 - Les croyances avant et après application du filtre temporel de croyances, et visualisation 
de la CUSUM pour une action saut dans un saut en hauteur. 
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